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摘要 : [目的 /意义 ] 以 用 户 情感 为 线索 的 图 像 检 索 已 成 为 机 器 学 习 研 究 的 热点 ,但 图 像 情感 特征 标注 的 语 
料 数 据 多 来 源 于 对 图 像 低层 特征 的 抽取 ,从 而 导致 图 像 检索 过 程 单一 化 和 程式 化 。 本 文 提 出 了 一 种 基于 深度 
学 习 的 图 像 情 感 特征 抽取 的 算法 ,将 图 像 底 层 特 征 融 合 到 图 像 的 高 层 情感 语义 当中 ,为 实现 图 像 的 情感 语义 检 
索 提 供 了 参考 。 [ 方法 /过程 ] 利用 改进 的 卷 积 网 络 模型 ,将 数据 集 图 像 的 颜色 、 纹 理 作为 输入 ,经 多 层 运算 自 
动 提取 图 像 的 情感 信息 ,并 通过 反 向 传播 算法 计算 出 改进 后 模型 的 情感 检索 准确 率 , 构 造 出 准确 率 较 高 且 过 拟 
合 程 度 低 的 图 像 情感 特征 提取 模型 。[ 结果 /结论 ] 应 用 改进 的 卷 积 神经 网 络 模型 ,实现 了 对 图 像 情感 特征 的 


抽取 , 相 较 于 原 模型 提升 了 10% 的 检索 准确 率 。 
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贿 着 微 博 、 各 类 论坛 . 知 乎 .豆瓣 等 社交 媒体 的 快 
速 纺 展 , 越 来 越 多 的 人 开始 在 社交 网 络 上 表达 自己 的 
观 岂 ,共享 知识 、 分 享 信息 、 创 作 内 容 。 这 些 网 络 用 户 
能 成 海量 的 内 容 , 往 往 带 有 主观 情感 倾向 性 ,基于 文本 
特 铀 和 自然 语言 处 理 的 情感 分 析 在 该 阶段 发 挥 了 较 大 
作 有 于, 并 对 用 户 的 情感 倾向 进行 了 有 效 地 把 握 。 如 今 ， 
侍 随 移动 社交 平台 的 普遍 使 用 ,拍照 上 传 照片 表达 和 
传 邮 情 感 ,也 已 成 为 大 众 喜 好 的 信息 交流 方式 。 对 这 
些 略 片 加 以 分 析 ,整理 和 组 织 ,有 效 地 挖 气 这 些 图 像 数 
据 虑 的 情感 信息 , 对 热点 探究 .与 情 分 析 具 有 重要 意 
义 凹 。 但 是 ,由 于 图 像 表 达 信 息 的 丰富 性 和 人 的 主观 
认 知 因素 多 样 性 ,造成 了 基于 情感 的 图 像 特征 抽取 具 
有 和 较 大 难度 。 

从 情感 角度 出 发 ,以 图 像 情感 语义 为 线索 检索 图 
像 , 有 助 于 获取 用 户 观 赏 图 像 信息 时 的 情感 状态 ,优化 
用 户 情 感 特征 库 , 完 善 基于 情感 语义 的 图 像 检 索 系 统 。 
目前 ,图 像 情感 特征 标注 的 语 料 大 多 源 于 对 图 像 低层 
特征 的 抽取 ,使 得 图 像 检 索 过 程 单一 化 .程式 化 。 本 文 
试图 提出 一 种 基于 VGGNet - 16 模型 的 图 像 情 感 特征 
抽取 的 算法 ,将 图 像 底层 特征 融合 到 图 像 的 高 层 情感 
语义 当中 ,弥补 现 有 的 研究 在 情感 语义 特征 抽取 方面 


中 的 不 足 , 以 达到 更 全 面 、 系 统 地 揭示 图 像 特 征 的 目 
的 ,为 实现 图 像 的 情感 语义 检索 提供 参考 。 


针对 用 户 情 感 特征 的 研究 ,以 用 户 生成 文本 为 语 
料 的 情感 分 析 方 法 已 较为 成 熟 , 通 过 对 文本 的 情感 特 
征 抽取 ,探索 用 户 情 感 倾向 ,在 实践 应 用 中 已 成 为 探究 
户 情感 线索 的 重要 方式 。 如 马 松 岳 等 利用 ROS- 
TCM 6.0 情感 分 析 工 具 , 对 豆 泊 网 用 户 关 于 电影 的 评 
论 进行 了 情感 抽取 ,将 用 户 生成 的 评论 文本 进行 分 词 ， 
计算 出 每 一 个 词 的 情感 值 并 以 可 视 化 的 形式 展现 ,从 
而 得 出 用 户 的 情感 倾向 ,为 电影 附 上 情感 标签 ;将 知 
义 " 等 利用 自 建 情感 词典 ,对 用 户 生成 的 微 博 内 容 进 
行 分 词 并 计算 情感 值 ,将 用 户 情 感 倾向 划分 为 正 向 、 负 
癌 \ 中 性 情感 ,从 而 判断 用 户 情 感 演化 趋势 。 基 于 文本 
内 容 的 情感 分 析 其 局 限 在 于 对 非 文本 模 态 的 数据 不 具 
备 情感 分 析 能 力 。 随 着 自 媒 体 的 快速 发 展 ,图 片 已 成 
为 用 户 生 成 信息 的 主要 类 型 ,并 且 比 文本 更 能 体现 用 
户 的 情感 ” ,图 像 情 感 分 析 开 始 进入 研究 视野 。 
图 像 情感 语义 的 抽取 ,大 致 经 历 了 两 个 发 展 阶段 : 
其 一 是 基于 图 像 视 觉 特征 的 情感 语义 提取 阶段 ;其 二 
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是 机 器 学 习 阶 段 , 尤 以 深度 学 习 为 代表 ,其 理论 广泛 应 
用 于 图 像 与 视频 分 析 .计算 机 视觉 .语音 识别 、 多 媒体 
等 诸多 领域 ,并 取得 了 巨大 成 功 ”。 在 此 阶段 ,机 器 学 
习 方 法 被 应 用 到 图 像 情 感 语 义 特 征 的 抽取 。 典 型 的 算 
法 模型 有 : 中 深度 信念 网 络 (Deep Belief Network ， 


在 探究 利用 CNN 模型 实现 图 像 情感 分 类 时 ,为 减少 模 
型 权 值 训练 数量 ,在 池 化 层 插入 了 权 值 共享 ,保持 图 像 
情感 特征 抽取 观测 样本 的 稳定 性 。 

我 国学 者 在 图 像 情感 特征 抽取 领域 也 进行 了 相关 
研究 。 黄 岂 等 “在 研究 中 指出 ,图 像 情 感 特征 来 源 于 


DBN) 。 该 模型 在 图 像 分 类 领域 取得 较 大 的 研究 成 果 ， 
它 通过 分 步 训练 每 一 层 网 络 , 将 图 像 特征 映射 到 不 同 
地 征 空间 ,以 概率 分 布 的 方式 建立 观察 数据 与 特征 标 
签 的 联合 分 布 ,提升 图 像 分 类 的 精度 '" 。 回 深度 残 差 
网 络 ( Deep Residual Network ,DRN ) 。 该 模型 在 计算 机 
视觉 ,多 媒体 数据 处 理 等 跨 模 态 数据 领域 引起 了 广泛 
的 关注 , 它 针对 图 像 特征 抽取 准确 率 迅速 达到 饱和 并 
逐渐 趋 于 下 降 的 “退化 问题 ", 在 所 增加 的 网 络 层次 上 
了 恒 等 映 射 的 方法 ,以 达到 控制 训练 结果 误差 的 
司 [7] 
日 对 而 言 ,国外 在 图 像 抽取 方面 的 研究 起 步 较 早 ， 
得 了 进展 和 突破 。J. A. Black 等 中 将 主题 标 引 和 
情感 标 引进 行 了 对 比 实验 ,发 现 两 者 在 聚 类 结果 上 呈 


现 出 较为 显著 的 一 致 性 ,一 定 程度 地 反映 了 以 用 户 情 
感 为 线索 的 图 像 标 引 和 检索 的 可 行 性 。K. Yoshida 


图 像 .用户 与 环境 ,提出 了 以 用 户 感受 为 中 心 描述 和 刻 
画图 像 并 进行 图 像 检 索 的 观点 ; 王 上 飞 等 ”提取 图 像 
RGB 的 分 布 特征 ,利用 径 向 基 函 数 神 经 网 络 进 行 图 像 
情感 特征 提取 ,初步 形成 基于 图 像 内 容 的 情感 特征 模 
型 ; 武 频 等 ”利用 支持 向 量 机 算法 实现 小 样本 图 像 自 
动情 感 注释 ,设计 了 基于 情感 语义 的 图 像 检 索 系 统 ; 王 
华 秋 等 ”在 图 像 情 感 语义 模型 中 ,将 图 像 的 形状 矩 和 
颜色 和 矩 作 为 模糊 神经 网 络 输入 ,利用 遗传 算法 对 图 像 
的 情感 映射 进行 了 优化 ,提高 了 图 像 匹配 的 效率 。 

国内 外 对 图 像 情感 语义 特征 抽取 的 研究 ,从 依赖 
于 图 像 低 层 特征 的 情感 特征 抽取 ,逐渐 过 渡 到 基于 深 
度 学 习 算 法 的 图 像 情 感 语 义 特 征 抽取 ,已 取得 较 大 研 
究 进展 。 但 在 所 建立 的 特征 抽取 模型 上 , 仍 有 巨大 的 
改进 空间 ,以 提升 算法 的 优越 性 。 目 前 ,图 像 情感 领域 
出 现 了 以 人 脸 情 感 识别 为 代表 的 人 脸 识 别 技术 ,这 就 


等 \| 提 取 图 像 颜色 特征 ,将 用 户 对 图 像 的 视觉 感受 与 
图 防 特 征 建立 映射 ,完成 图 像 情感 语义 特征 的 提取 ;S. 
BMCbo 等 5 用 高 兴 , 诅 袁 、 凉 更 来 描述 图 像 ,建立 了 支 
持 恋 类 情感 的 图 像 情感 语义 提取 系统 ; C. Colombo 
竺 四 用 愉快 .紧张 .放松 .动感 来 描述 图 像 的 情感 语 
义 g 建 立 了 图 像 与 情感 的 映射 ;S. Siersdorfer 等 “ 借助 
颜色 直方 图 提取 图 像 的 颜色 特征 ,利用 SentiWordNet 


英名 情 感 词典 为 图 像 携 带 的 文本 信息 打分 ,提取 图 片 


需要 学 者 在 图 像 情感 的 基础 上 研究 表情 识别 ,该 课题 
在 计算 机 视觉 领域 颇具 挑战 性 ”。 人 类 情感 信息 的 
特殊 性 和 处 理 人 类 情感 的 复杂 性 ,决定 了 将 图 像 情感 
与 人 类 情感 相 结合 的 特征 抽取 方法 仍 有 巨大 的 发 展 空 
间 。 


2 图 像 底层 特征 抽取 的 一 般 方 法 
要 进行 图 像 情感 特征 抽取 ,首先 要 抽取 图 像 的 底 


的 情感 倾向 ,最 后 利用 SVM 分 类 器 将 颜色 特征 与 情感 
特征 相 结合 ,揭示 图 像 的 情感 特征 。 这 些 图 像 情 感 提 
取 方 法 ,都 将 图 像 视 觉 特征 作为 情感 语义 抽取 的 对 象 ， 
依赖 于 人 对 基本 情感 的 分 类 , 受 人 研究 者 的 主观 思维 所 
影响 。 而 基于 深度 学 习 的 图 像 情 感 特 征 抽 取 可 利用 算 
法 和 模型 计算 情感 值 ,相对 客观 地 对 图 像 .文本 进行 了 
情感 归 类 和 分 析 , 近 几 年 已 逐渐 成 为 图 像 情感 特征 抽 


层 特征 ,通过 底层 特征 联结 高 层 情 感 语义 ,建立 图 像 的 


情感 特性 。 
2.1 图 像 底层 语义 特征 与 情感 

图 像 中 最 基本 的 底层 可 视 化 内 容 是 颜色 纹理 等 
特征 ,人 们 在 观察 图 像 时 ,首先 会 接收 到 这 些 视觉 特 
征 , 进 而 受到 影响 产生 不 同 的 情感 体会 。 

在 图 像 视觉 特征 中 ,颜色 特征 是 对 图 像 情感 最 显 


取 研 究 的 热点 。 如 ; Quanzeng You 等 利用 CNN 算 
法 ,对 Flickr 图 像 数 据 集 进 行情 感 分 类 ,将 图 片 在 情感 
上 分 为 正 负 两 类 ,并 利用 主 成 分 分 析 法 ,提出 了 RCNN 
模型 ,用 于 图 像 的 情感 特征 提取 ;在 此 基础 上 ,0. Vin- 
yals 等 外 利用 CNN 模型 对 图 像 情 感 特征 进行 抽取 ,将 
经 过 人 工 翻 译 与 描绘 的 图 像 内 容 与 图 像 情感 倾向 相 结 
合 , 生 成 描述 图 像 内 容 的 语句 ,实现 了 “看 图 说 话 ”, 并 
提出 了 图 像 情 感 内 容 自动 描述 的 设想 ;Manli Sun 等 


车 的 表达 ,是 最 具 情 感 特 性 的 特征 。 针 对 图 像 的 情感 
表示 ,颜色 特征 能 够 对 应 不 同 的 用 户主 观感 受 ” 。 从 
多 数 心理 学 实验 得 出 的 常见 情感 和 颜色 相对 应 的 实验 
结果 来 看 ,颜色 特征 集中 的 红色 ,对 应 了 兴奋 热情、 奋 
进 、 狂 经 和 强烈 ;绿色 对 应 了 清爽 .宁静 自然 ,疲劳 等 情 
感 ; 再 细 分 用 户 的 情感 ,情感 集中 包含 了 正面 情感 和 负 
面 情感 ,因此 一 种 颜色 也 关联 着 不 同 的 情感 倾向 ,进而 
又 可 以 推论 出 某 些 情感 可 能 又 关联 着 不 同 的 颜色 。 
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对 图 像 颜色 特征 的 抽取 ,通常 以 RGB 颜色 空间 与 
HSV 颜色 空间 为 依据 。 从 人 类 视觉 感知 上 看 ,HSV 系 
统 比 RCB 系统 更 接近 于 人 们 的 心理 反应 和 对 彩色 的 
感知 ,从 而 更 接近 人 眼 所 观察 到 的 事物 的 颜色 属性 , 它 
具有 视觉 一 致 性 ”1。 
通过 对 图 像 颜色 特征 的 分 析 , 不 难 发 现 颜色 是 图 
像 特征 最 显著 的 部 分 ,同时 也 与 情感 语义 关联 最 为 密 
切 ,因此 ,如 何 有 效 抽取 颜色 特征 是 连接 图 像 高 层 情感 
语义 的 关键 5 。 

纹理 特征 也 会 对 人 的 心理 产生 一 定 的 作用 。 虽 然 
它 没有 颜色 特征 那么 明显 和 直观 ,但 由 于 纹理 特征 中 
包含 了 对 比 度 和 空间 频率 等 因素 ,因而 不 同 纹理 能 够 
产生 不 同 的 视觉 效果 ,进而 对 人 类 的 情感 产生 了 影响 。 
2 况 = 图 像 颜色 特征 与 纹理 特征 抽取 算法 

全 在 图 像 颜 色 特 征 抽取 算法 中 ,全 局 直方 图 的 运用 
最 为 广泛 , 即 抽取 整个 图 像 的 颜色 分 布 表示 为 该 图 像 
ss ah 


司 纺 幅 图 像 中 的 比例 ,一 般 图 像 的 全 局 直方 图 实际 上 
是 < 个 1 -DD 离散 函数 ,定义 为 
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H(k) = 式 (1) 


其 中 ,k 指 的 是 该 图 像 的 灰 度 取 值 ,L 代表 灰 度 可 取 值 
的 个 数 ,nm 是 图 像 中 具有 灰 度 值 为 的 像素 总 个 数 ,NN 
为 图 像 像素 的 总 数 。 

颜色 直方 图 的 优点 是 计算 简单 ,只 需 计 算出 图 像 
中 每 一 种 颜色 的 像素 频数 , 且 对 图 像 的 平移 .旋转 或 者 
缩放 等 变化 具有 很 强 的 稳定 性 ” 。 目 前 研究 人 员 主 
要 运用 Matlab 进行 图 像 颜色 特征 的 提取 。 
图 1 是 基于 颜色 直方 图 的 图 像 特征 提取 的 结果 : 
首先 分 别处 理 HS V 三 个 特征 集 ,获得 若干 个 小 的 颜 
色 区 间 ; 然 后 将 对 应 的 小 区 间 生 成 颜色 直方 图 的 bin 
( 色 区 ) ,通过 计算 颜色 落 在 每 个 小 区 间 的 bin 绘制 得 
到 量化 的 颜色 直方 图 ;得 到 图 2 的 颜色 空间 维度 量化 
表 , 即 获取 了 图 像 的 颜色 特征 。 其 缺点 是 ,对 于 颜色 分 
布 较为 相似 的 图 像 无 法 准确 辨析 ,如 图 2 中 的 红色 与 
绿色 量化 结果 相似 ,没有 明显 的 区 别 , 易 造 成 同色 不 同 


k=1,2,3,.…,L-1 


情感 的 图 像 相互 混淆 ;为 一 方面 ,全 局 颜色 直方 图 无 法 


27] 


考虑 到 图 像 中 各 个 区 域 的 特征 


图 1 基于 颜色 直方 图 的 图 像 特征 提取 


图 像 纹理 特征 的 抽取 , 目前 主要 采用 基于 统计 的 
方法 和 儿 何 法 。 其 中 ,基于 统计 方法 的 灰 度 共生 矩阵 
(GLCM) 法 比较 常见 。 

上 述 传统 的 图 像 特征 抽取 算法 能 较 好 地 获取 图 像 
底层 语义 特征 , 却 无 法 准确 地 表达 图 像 情感 ,需要 借助 
人 的 主观 判别 建立 起 情感 关系 ,所 抽取 的 情感 倾向 具 
有 明显 的 主观 倾向 性 ,无 法 客观 地 表达 图 像 高 层 情感 
语义 特征 。 
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图 像 来 源 :http://pic28. photophoto. cn/20130712/0007020101331274_b. jpg 


因此 ,本 文 尝试 利用 深度 学 习 方法 建立 图 像 底 层 
语义 到 高 层 情感 特征 的 映射 ,实现 图 像 情感 特征 的 抽 
取 。 


3 ”基于 改进 的 CNN 模型 的 图 像 情感 


特征 抽取 


深度 学 习 源 于 人 工 神经 网 络 的 研究 ,是 机 器 学 习 
的 一 个 新 兴 分 支 。 其 核心 在 于 借助 算法 使 得 计算 机 能 
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图 2 
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人 
训练 ,让 计算 机 获取 如 人 脑 一 般 地 处 理事 务 的 能 力 。 
深 息 学 习 目 前 已 广泛 应 用 于 人 工 智能 领域 ,常见 的 模 
型 乔 深 度 自 动 编码 器 (Deep Auto encoder，DAE ) 深度 
腕 限 玻 尔 效 曼 机 (Deep Restricted Boltzmann Machine， 
DRBM ) 以 及 卷 积 神经 网 络 ( Convolutional Neural Net- 
workss, CNN) ,其 中 CNN 模型 在 图 像 识别 、 人 脸 识别 领 
域 丽 运用 已 经 取得 较 大 成 功 ” 。 

3.(@ CNN 算法 及 其 在 图 像 情感 抽取 中 的 应 用 


输入 层 差 积 层 
input cl 
1 个 28*28 的 map 6 个 24*24 的 map 


100 150 


200 250 0 50 100 150 200 250 


颜色 直方 图 分 量 量 化 结果 


卷 积 神经 网 络 ( Convolutional Neural Networks， 
CNN) 已 被 证 明 可 以 从 大 量 的 数据 系列 中 ,学 习 出 复杂 
的 映射 关系 ,在 计算 机 视觉 领域 已 经 取得 较 大 科研 成 
果 ,被 运用 于 图 像 分 类 .目标 检测 .表情 识别 \ 人 脸 检 测 
等 领域 。 相 对 于 颜色 特征 、 纹 理 特征 的 提取 ,深度 卷 积 
神经 网 络 具 有 很 强 的 抗 干扰 能 力 ,对 于 图 片 的 移动 . 旋 
转 形变 或 其 他 形式 的 变形 具有 高 度 的 不 敏感 性 ” ， 
其 网 络 结构 模型 如 图 3 所 示 : 


采样 层 


C3 


S2 54 S2 
6 个 sl2 的 map 了 2 个 88 的 map 12 个 4 的 map 1 个 1#1 的 map 


3 ” 卷 积 神经 网 络 模 型 结构 


在 CNN 中 ,多 层 结构 网 络 的 可 视 层 输 入 为 每 一 个 
图 像 块 。 在 卷 积 层 中 ,通过 一 组 滤波 器 以 及 非 线 性 层 
变换 ,提取 出 目标 图 像 的 局 部 特征 。 输 入 的 图 像 通过 
三 个 可 训练 的 滤波 右 和 可 加 偏 置 进行 卷 积 , 卷 积 后 在 
C1 层 产 生 特征 map ,然后 对 特征 map 中 每 组 的 四 个 像 


素 进行 求 和 ,赋予 权 值 ,加 入 偏 置 ,通过 一 个 Sigmoid 函 

数 得 到 6 个 S2 层 的 特征 map。 具 体 计算 过 程 如 式 (2) 
所 示 : 

玫 = 扎 Zenxf 和 * 的 + 总 ) 式 (2) 

其 中 ,MM 为 输入 该 层 的 特征 map 集 ,! 表示 当前 的 
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卷 积 层 数 , XL 表示 $ 层 第 7 个 神经 元 输出 的 特征 向 量 ， 
x 为 上 一 卷 积 层 第 i 个 神经 元 输出 ,如 表示 上 一 卷 积 
层 第 i 个 神经 元 与 本 层 第 j 个 神经 元 之 间 的 连接 阔 值 。 
该 过 程 所 增加 的 偏 置 为 2, 通 过 激活 函数 了 。 

在 S2 层 中 ,采用 池 化 的 方式 对 Cl 特征 向 量 进行 
降 维 ,以 提升 特征 的 表达 能 力 。 这 些 特征 map 再 经 过 
滤波 得 到 C3 层 ,该 层级 结构 对 每 一 个 map 重复 如 S2 
相同 的 计算 过 程 ,产生 S4。 最 终 , 这 些 像素 值 被 光栅 
化 ,并 连接 成 一 个 向 量 输入 到 传统 的 神经 网 络 ,得 到 输 
出 *。 具体 计算 公式 如 式 (3) 所 示 : 

| 二 人 

其 中 ,n 表示 从 卷 积 层 至 采样 层 的 窗口 宽度 。 
一 为 减少 需要 训练 的 参数 数量 ,模型 引入 了 优化 方 
法 珍 数 共享 。 观 察 发 现 , 卷 积 层 特 征 检测 如 垂直 边缘 
检 轴 如 果 适 用 于 图 片 的 某 个 区 域 ,那么 它 也 可 能 适用 
也 图 片 的 其 他 区 域 。 如 :采用 一 个 3 x3 的 过 滤器 检测 

边缘 ,那么 图 片 的 左上 角 区 域 以 及 旁边 的 各 个 区 
域 都 可 以 使 用 这 个 3 x3 的 过 滤器 。 每 个 特征 检测 器 
以 鸡 输 出 都 可 以 在 输入 图 片 的 不 同 区 域 中 使 用 同样 的 
敌 狗 ,以便 提 取 徘 直 边缘 或 其 它 特征 。 

忆 通 过 卷 积 层 得 到 的 特征 向 量 维 数 通 党 较 大 , 宛 余 

全 总 很 多 ,会 增 大 训练 代价 ,训练 过 程 中 易 引 起 过 拟 
合 之 因此 需 在 S 层 的 不 同位 置 对 特征 向 量 进行 降 采样 
据 伯 , 即 池 化 (POOL) 。 池 化 减少 图 像 特征 map 输入 的 
eho 
特征 检测 器 的 输入 位 置 更 加 稳定 。 这 两 种 池 化 层 是 : 
C(1) 最 大 池 化 层 :在 输入 图 像 特征 上 滑动 (1.0 窗 
口 , 并 将 窗口 的 最 大 值 存储 在 输出 中 。 如 图 4 所 示 , 采 
用 一 个 2 x2 的 flter( 过 滤器 ) 滑动 卷 积 层 输出 的 图 像 
特征 ,max pool 是 在 每 一 个 区 域 中 寻找 最 大 值 ,这 里 的 
stride =2 ,最终 图 像 原 特征 经 过 不 重奏 提取 的 最 大 池 
化 过 程 ,得 到 图 中 右边 的 特征 集 , 且 原 特征 集 参数 降 
低 , 为 原来 的 1/4。 


Ea 


Max Pool 


Stride=2 
[| 


Filter:2*2 
卷 积 层 输出 的 图 像 特 征 向 量 集 


4 采样 层 最 大 池 化 操作 


(2) 平 均 池 化 层 :在 输入 上 滑动 (人 , 台 窗 口 ,并 将 窗 
口 的 平均 值 存储 在 输出 中 。 如 图 5 所 示 ,同样 采用 一 
个 2 x2 的 filter( 过 滤器 ) 滑 动 卷 积 层 输出 的 图 像 特 
征 ,avg pool 是 在 每 一 个 领域 特征 点 中 求 取 平 均值 ,更 
多 地 保留 图 像 的 背景 特征 。 其 中 ,stride =2 ,最终 图 像 
原 特征 经 过 不 重 伙 提取 的 平均 池 化 过 程 ,得 到 图 中 右 
边 新 的 特征 集 ,进行 后 续 训 练 , 且 原 特 征集 参数 降低 ， 
为 原来 的 1/4。 


I 


Average Pool 
Filer:2*2 
Stride=2 

=f 


卷 积 层 输 出 的 图 像 特 征 向 量 集 


图 5 采样 层 平均 池 化 操作 


结合 多 层 卷 积 层 与 池 化 层 形成 的 深度 网 络 模型 能 
够 取得 对 缩放 ,平移 和 旋转 不 变性 的 样本 图 片 特征 。 

同时 , 卷 积 神经 网 络 模型 的 训练 过 程 采 用 反 向 传 
播 算 法 ,用 于 更 新 网 络 参数 ,如 式 (4) 所 示 : 

dA= 50 To W, x dZhw 式 (4) 

式 (4) 中 ,W. 是 过 滤器 ,dZhw 是 与 第 h 行 第 w 列 
的 卷 积 层 Z 的 输出 梯度 相对 应 的 标量 (对 应 于 第 i 步 
向 左 和 第 7 步 向 下 抽取 的 点 积 ) 。 在 每 次 更 新 dA 时 ， 
会 将 相同 的 滤波 器 Wr 乘 以 不 同 的 dZ ,该 处 理 针对 在 
计算 正 向 传播 时 ,每 个 过 滤器 都 被 不 同 的 au 点 平分 
和 相 加 。 因 此 ,在 计算 dA 的 backprop 时 ,只 是 添加 所 
有 ai 的 渐变 。 

卷 积 神经 网 络 模型 经 过 逐 层 分 析 抽 取出 图 像 特 
征 ,在 卷 积 神经 网 络 模型 的 最 后 一 层 引 入 损失 函数 , 表 
示 特 征 抽取 的 误 检 程 度 , 引 和 损失 函数 dWe( dWe 是 一 
个 滤波 器 的 导数 ) ,如 式 (5) 所 示 : 

dW., = S70 Emo owe xdZ 式 (5) 

式 (5) 中 ,a 对 应 于 切片 ,用 于 产生 活性 她。 计 
算 结 果 产 生 与 该 切片 相关 的 WW 渐变 ,由 于 多 值 相同 ， 
可 将 其 相 加 获得 dW。 

实验 过 程 需 训 练 出 用 于 判断 图 像 情感 语义 的 卷 积 
神经 网 络 模型 。 不 同 的 网 络 模型 具有 不 同 特性 。 在 正 
式 实验 之 前 ,选取 不 同 的 网 络 模型 进行 预 训练 .测试 与 
反馈 ,最 终 选取 测试 效果 较 好 的 CNN -VGGNet 模型 作 
为 实验 的 网 络 模型 。 在 图 像 分 类 领域 ,牛津 大 学 视觉 
几何 组 构建 了 VGGNet-16 网 络 模型 ” ,被 证 明 是 较为 
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优秀 的 图 像 特征 抽取 模型 。 但 其 缺陷 也 较为 明显 :一 是 
该 模型 采用 6 段 卷 积 层 , 由 于 层 数 较 多 ,训练 时 产生 较 


改进 后 模型 能 够 以 较 少 的 参数 与 迭代 次 数 完成 图 
像 情感 特征 抽取 ,所 加 深 的 卷 积 层 对 图 像 情感 特征 有 


多 的 特征 参数 ,对 于 图 像 情感 特征 训练 参数 数量 需求 较 
大 ,在 多 数 情形 下 超过 可 供 训练 的 样本 数量 不 利于 模型 
的 收敛 ,不 易 达 到 最 优 值 ; 二 是 网 络 共 有 5 个 最 大 池 化 
层 , 较 多 的 池 化 层 易 造成 图 像 特征 向 量 微粒 化 ,使 得 图 
像 主 成 分 特征 丢失 ,无 法 有 效 解决 过 拟 合 的 问题 。 
3.2 CNN 模型 的 改进 

由 于 在 数据 预 训练 中 ,情感 特征 抽取 准确 程度 较 
低 ,过 拟 合 情 况 明显 ,因此 本 实验 改进 了 VGCNet 模型 
和 参数 ,重新 进行 了 训练 ,以 提升 情感 特征 抽取 效果 。 
原 卷 积 神经 网 络 模型 有 三 段 卷 积 层 和 两 个 全 连接 层 ， 
并 且 针 对 不 同 特征 修改 卷 积 层 中 滤波 器 的 大 小 和 数 
最 一 根据 样本 数量 以 及 预 训练 结果 ,对 网 络 模型 进行 
改 通 ,并 对 原 模型 参数 进行 微调 :四 采用 5 层 卷 积 层 
(EGGiv2d) ,该 改进 方法 在 原 模型 的 基础 上 ,针对 图 片 的 
了 匡 仁 所 做 出 的 优化 ,有 利于 防止 过 拟 合 ， 提高 模型 的 
泛 仙 能 力 。@ 设 置 4 层 最 大 池 化 层 (maxpool) ;@@ 将 连 
接 克 式 改进 为 3 层 全 连接 (Dense) ; @ 为 减少 过 拟 合 的 
影响 ,放弃 ( Dropout) 一 部 分 神经 元 ;改进 后 模型 的 参 


次 如 表 1 所 示 : 


OO 表 1 改进 的 VGGNet 模型 参数 
Fe Layer (type) Output Shape Param # 
a 2 conv2d_ 28 (Conv2D) ( None, 32, 32, 64) 4864 
pa pooling2d 22 | MaxPooling ( None, 16, 16, 64) 0 
CS" 30 (Conv2 D) ( None, 16, 16, 64) 36928 
© dropout_43 (Dropout) (None， 16, 16, 64) 0 
ae conv2d_31 (Conv2D) ( None, 16, 16, 64) 36928 
ni 4 (Dropout) ( None, 16, 16, 64) 0 
加 .oa 32 (cmv2 D) (None, 16,16,32) 18464 
max_pooling2d_23 (MaxPooling ( None, 8,8, 32) 0 
conv2d_33 (Conv2 D) ( None, 8,8, 64) 18496 
dropout_45 (Dropout ) (None， 8,8, 64) 0 
conv2d_34 (Conv2D ) (None， 8,8, 64) 36928 
max_pooling2d_24 (MaxPooling ( None, 4,4, 64) 0 
conv2d_35 (Conv2D ) (None， 4,4, 128) 73856 
dropout_46 (Dropout) ( None, 4,4, 128) 0 
conv2d_36 (Conv2D) ( None, 4,4, 128) 147584 
max_pooling2d_25 (MaxPooling ( None, 2,2, 128) 0 
flatten_ll (Flatten) ( None, 512) 0 
dropout_47 (Dropout) ( None, S12) 0 
dense_ 21 (Dense) ( None, 2500) 1282500 
dropout_48 (Dropout) ( None, 2500) 0 
dense_22 (Dense) ( None, 1024) 2561024 
dropout_49 (Dropout) ( None, 1024) 0 
dense_23 (Dense) ( None, 2) 2050 
local params: 4 ,219 ,622 


Trainable params: 4,219 ,622 


Non -trainable params: 0 


None 


更 高 的 敏感 性 。 同 时 ,四 层 采 样 层 均 采用 最 大 池 化 的 
方式 对 情感 特征 向 量 进行 降 维 ,有 效 地 增加 了 图 像 情 
感 特征 的 显著 性 ,对 于 数据 集 具 有 一 定 的 泛 化 能 
改进 的 CNN 模型 算法 用 代码 可 描述 为 : 
# 用 来 创建 卷 积 层 并 把 本 层 的 参数 存 人 参数 列表 
# input_op :输入 的 tensor name: 该 层 的 名 称 kernel : 卷 积 层 n_out : 
输出 通道 数 ,dh: 步 长 的 高 dw: 步 长 的 宽 ,p 是 参数 列表 
# 定义 卷 积 层 


def conv_op(input_op ,name ,kh,kw,n_out,dh,dw,p) : 


conv = tf. nn. conv2d(input_op，kermel，(1,dh,dw,1),padding 
='SAME ') 
activation = tf.nn.relu(conv,name =scope) 
return activation 
# 定义 全 连接 层 


def fc_op(input_op ,name,n_out,p) : 


activation = tf. nn. relu_layer (input_op, kernel, biases, name = 
scope) 
return activation 
# 定义 最 大 池 化 层 
def mpool_op (input_op ,name ,kh, kw, dh, dw) : 
return max_pool (input_op, ksize = [1 ,kh,kw,1] ,strides = [1,dh, 
dw,1 ] ,padding = ‘SAME’ ,name = name) 
# 定 义 网 络 结构 
def inference_op (input_op ,keep_prob ) : 
p=[] 
convl 1 = conv_op(input_op,name ='conv]_1’,kh =3,kw=3,n_ 
out=32,dh=1,dw=1,p=p) 
pooll = mpool_op(conv]_2,name = 'pooll’,kh =2,kw =2,dw=2, 
dh =2) 
conv2_1 = conv_op(pooll,name = "conv2_1',kh =3,kw=3,n_out 
=64,dh=1,dw=1,p=p) 
dropout2_1 = dropout(conv2_1, keep_prob, name = 'dropout2_1') 
conv2_2 = conv_op(dropout2_1 ,name = 'conv2_2' ,kh =3,kw=3,n 
_out =64,dh=1,dw=1,p=p) 
dropout2_2 = dropout( conv2_ 2,keep_prob, name = 'dropout2 2') 
conv2_3 = conv_op( dropout2 2 ,name ='conv2_3',kh =3,kw=3,n 
_out =32,dh=1,dw=1,p=p) 
='po0l2’, kh =2, kw=2, dw=2, dh =2) 


pool2 = mpool_op(conv2_3, name 


conv3_1 = conv_op(pool2 ，name ='conv3_1’, kh =3, kw=3,n_ 
out =64, dh=1, dw=1, p=p) 

dropout3_1 = dropout(conv3_1, keep_prob, name = 'dropout3_1') 

conv3_2 = conv_op( dropout3_1, name = 'conv3.2', kh =3, kw =3, 
n_out=64, dh=1, dw =1, p=Pp) 

pool3 = mpool_op(conv3_2, name = 'pool3’, kh =2, kw =2，dw = 
2, dh =2) 


conv4_1 = conv_op(pool3, name ='conv4_1’, kh =3, kw=3,n_ 
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out =128, dh =1, dw=1, p=p) 
dropout4_1 = dropout(conv4_1, keep_prob, name = ‘dropout3_1') 
conv4 2 = conv_op( dropout4_1, name ='conv4 2, kh =3, kw =3， 
n_out =128, dh =1, dw=1, p=p) 
pool4 = mpool_op(conv4 2, name = "pool4'，kh =2, kw=2, dw= 
2, dh =2) 
# 平 铺 层 
shp = pool5. get_shape( ) 


flattened_shape = shp[1].value * shp[2].value * shp[3].value 
reshl = tf.reshape( pool5,[ -1 ,flattened_shape] ,name ="reshl" ) 
c5_drop = dropout(reshl ，keep_prob ,name = "fc5_drop'" ) 

c6 = fe_op(reshl ,name ="fc5_drop" ,n_out =2500,p =p) 
c6_drop = dropout(fe6 ,keep_prob ,name = fc6_drop’) 

co7 = fe_op(fc6_drop,name ="fc7" ,n_out =2500,p =p) 


c7_drop = tf.nn. dropout(fe7 ,keep_prob,name ="fec7_drop" ) 
Tes = fc_op(fc7_drop,name="fc8",n_out=2,p=p) 
Pmax = tf. nn. softmax(fc8) 

edictions = tf. argmax( softmax ,1 ) 
We predictions ,softmax ,fc8 ,p 
〇 上 述 代码 引入 6 层 循环 , 卷 积 层 收 到 N 个 32 x32 
x 了 特征 图 作为 输入 ,经 过 宽度 为 KxK 的 卷 积 核 , 产 
二 个 输出 特征 图 的 像素 点 。 卷 积 过 程 所 引入 的 滑动 
寅 爹 ide 间隔 为 8, 小 于 下 ,产生 的 M 个 特征 输出 图 用 
-一 层 卷 积 层 。 
3 GN 构建 图 像 情感 抽取 实验 模型 

污 实验 过 程 需 训练 出 用 于 判断 图 像 情感 语义 的 卷 积 


> 32x32x64 
(5 16x 16x 32 
[1 J 
人 8x8x64 
© 32x 32x 64 4x4x 128 
\ SS 
Input 
采 采 
了 7 样 
采 E: 
卷 积 层 样 层 卷 积 层 层 。 卷 积 导 
卷 积 层 二 卷 积 层 卷 积 层 63 卷 积 层 
Cl 层 cz S32 63 C4 
sl 


神经 网 络 模型 。 依 据 改进 后 模型 的 参数 .结构 ,结合 本 
文 实验 目的 ,构建 出 改进 后 的 CNN 网 络 模型 ,如 图 7 
所 示 。 为 确保 实验 过 程 的 科学 性 与 灵活 性 ,探究 网 络 
深度 对 模型 精确 度 的 影响 ,所 有 卷 积 层 采用 相同 的 配 
置 :d 卷 积 核 大 小 为 3 x3 , 步 长 为 1(stride:1) ,填充 为 
1(padding:1) ;@ 共 有 4 个 最 大 池 化 层 ,大 小 均 为 2 x 
2, 步 长 为 2( stride:2);@ 三 个 全 连接 层 ,前 两 层 都 有 
4 096 通 道 , 第 三 层 共 1 000 路 即 代 表 1 000 个 标签 类 
别 ,最 后 一 层 为 softmax 层 , 完 成 图 像 情 感 特 征 抽取 分 
类 ;所 有 隐藏 层 后 都 带 有 ReLU 非 线 性 激活 函数 。 
如 图 6 所 示 : 该 VGGNet 模型 共 16 层 ,13 层 卷 积 层 与 3 
层 全 连接 层 。 首 层 为 卷 积 层 , 将 输入 图 像 的 大 小 变换 
为 32 x32 x64, 在 3 个 通道 上 采用 3 x3 的 滤波 器 对 图 
像 进行 卷 积 操作 后 ,得 到 基本 的 卷 积 数据 ;然后 进行 一 
次 ReLU 和 Norm 变换 ,随后 通过 采样 层 进行 最 大 池 
化 ,得 到 规模 为 16 x16 x32 的 特征 图 作为 输出 传人 下 
一 层 。 第 2 层 也 是 卷 积 层 ,处 理 过 程 和 第 1 层 类 似 , 经 过 
卷 积 .ReLU Norm 和 池 化 ,输出 结果 规模 为 8 x8 x64, 卷 
积 层 处 理 过 程 基 本 相同 。 第 14 层 进 入 全 连接 层 , 全 连 
接 后 特征 向 量 达 到 4 096 个 节点 ,最 后 一 层 全 连接 层 是 
对 上 一 个 全 连接 层 进 行 ReLU 以 及 dropout 后 再 进行 全 
连接 的 结果 ,最 后 输出 为 融合 label 的 softmax loss。 


1x 1x4096 
1 x 1 x 4096 
1x1x1000 
2x2x512 
下 特征 抽取 分 类 器 
样 Softmax 
层 
34 状 积 层 准 畦 行 向 其 疹 中 层 “ 
卷 积 层 4096 维特 征 向 量 输出 层 
C5 
全 连接 层 
Fully connectionted 


图 6 改进 的 卷 积 神经 网 络 模型 VGGNet-16 


4 实验 分 析 与 评价 
图 像 情感 特征 提取 主要 采用 深度 模型 下 的 小 样本 


实验 方法 ,训练 出 能 够 抽取 图 像 情感 特征 的 深度 学 习 
模型 。 
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4.1 数据 来 源 

由 于 Flickr 网 站 具备 了 较为 成 熟 的 情感 图 像 数据 
集 '" ,本 实验 基于 有 监督 学 习 的 方法 , 精 选 其 中 5 000 
张 图 像 , 形 成 FlickrEmotion 数据 集 。 其 图 像 均 来 源 于 
社交 媒体 上 用 户 所 上 传 的 图 像 ,图 像 规格 较 高 并 且 可 
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以 完成 高 清 无 损 转换 。 该 数据 集 图 像 训练 语 料 具 备 情 
感 标 签 (Label ) ,在 分 类 标签 下 共 分 为 2 个 情感 类 :一 
类 为 积极 情感 ,包含 开心 高兴, 愉悦 ; 男 一 类 为 消极 情 
感 ,包含 伤心 、 泪 来 .压抑 。 为 进行 图 像 情感 特征 抽取 
研究 ,本 文 将 此 6 种 标签 进行 进一步 合并 为 仅 具 有 积 


极 和 消极 两 种 情感 , 即 二 分 类 情感 特征 ,经 Softmax 分 
类 器 验证 ,图 像 情感 均 符 合 标签 ,分 类 有 效 。 最 后 ,将 
该 数据 集 分 为 训练 样本 和 测试 样本 ,有 2 500 张 训 练 
样本 和 2 500 张 测试 样本 。 图 7、 图 8 展示 了 所 选 图 像 
数据 集 的 部 分 实例 。 
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oe 数据 预 处 理 

C 为 使 卷 积 神经 网 络 更 好 地 采集 数据 集中 图 像 的 特 
征 , 需 对 图 片 进行 批量 预 处 理 。 由 于 图 像 的 颜色 特征 
与 纹理 特征 能 够 有 效 地 表达 图 片 的 情感 ,因此 可 先 通 
过 预 处 理 对 图 像 纹理 特征 与 色彩 特征 进行 抽取 ,然后 
通过 改变 二 者 权重 输入 卷 积 神经 网 络 模型 。 

如 图 9 所 示 ,深化 纹理 特征 ,淡化 色彩 特征 ,得 到 
能 够 被 VGGNet 识别 的 边界 像素 ,数据 处 理 的 结果 使 
图 像 纹理 特征 增强 。 

如 图 10 所 示 ,将 图 片 依照 图 像 颜色 特征 抽取 方法 
进行 预 处 理 , 即 深化 图 像 的 颜色 特征 ,将 像素 降低 , 减 
小 边缘 特征 的 比重 。 由 于 像素 的 降低 ,使 得 图 像 局 部 
颜色 的 比重 升 高 ,达到 了 深化 色彩 特征 ,淡化 纹理 特征 
的 效果 。 

将 预 处 理 图 像 输入 CNN 模型 ,以 测试 实验 模型 情 
感 特征 抽取 效果 。 在 不 改变 学 习 率 (0. 01) 、 卷 积 层 滤 
波 器 大 小 为 3 x3 的 条 件 下 ,经 过 训练 ,初步 得 到 情感 


7 积极 类 情感 图 像 
图 像 来 源 :hittp://press. liacs. nl/mirflickr/ mirflickr25k/ mirflick125k_annotations_v070. zip 


8 消极 类 情感 图 像 


图 像 来 源 :http://press. liacs. nl/mirflickr/ mirflickr25k/mirflick125k_annotations_v070. zip 


特征 抽取 结果 。 如 表 2 所 示 ,经 过 两 类 图 像 增强 处 理 ， 
预 训练 集 的 图 像 情感 特征 抽取 准确 率 能 达到 较 好 的 水 
平 , 均 维 持 在 78% 左右 ,达到 了 较 高 的 准确 率 。 但 特 
征 抽取 过 程 存在 检索 损失 , 即 开 始 出 现 检 索 出 无 关 特 
征 的 情况 ,出现 了 过 拟 合 。 预 处 理 过 程 无 差错 ,表明 改 
进 后 VGGNet 模型 已 具有 较 好 的 鲁 棒 性 ,可 以 将 其 运 
用 于 实验 过 程 ,要 提升 准确 率 只 需 进行 微调 操作 。 
表 2 预 训练 集 图 像 情感 特征 抽取 准确 率 


训练 集 预 处 理 类 型 维度 准确 率 训练 结果 评价 
减少 颜色 特征 ,增加 边缘 特征 4096 77.35% 过 拟 合 
增加 颜色 特征 ,减少 边缘 特征 4096 78.33% 过 拟 合 


4.3 图 像 特征 抽取 实验 与 分 析 

为 确保 实验 过 程 的 科学 性 与 灵活 性 ,探究 网 络 深 
度 对 模型 精确 度 的 影响 ,所 有 卷 积 层 采 用 相同 的 配置 ， 
并 且 以 本 实验 模型 为 基础 ,根据 数据 预 处 理 结 果 , 相 应 
地 对 情感 特征 抽取 过 程 做 如 下 改变 : 

(1) 对 于 加 强 纹 理 特征 的 网 络 , 滤 波 器 大 小 调整 
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图 9 减少 颜色 特征 、 增 加 边缘 特征 预 处 理 


en 
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图 10 增加 颜色 特征 、 减 少 边缘 特征 预 处 理 
为 Sx5。 

3<(2) 对 于 加 强 色 彩 特征 的 网 络 ,滤波 器 大 小 调整 
2 

:三 为 了 提高 准确 率 ,实验 过 程 尝试 继续 增加 卷 积 层 ， 
但 看 现 过 拟 的 情况 ;试图 降低 学 习 率 ,导致 网 络 无 法 收 
敛 ;提高 学 习 率 , 使 部 分 神经 元 出 现 死亡 的 情况 ,因此 
将 学 习 率 调 至 0.1。 

使 用 训练 好 的 模型 对 图 片 进行 情感 特征 提取 : 训 
练 结果 越 趋 近 于 1, 其 积极 情感 傅 强 烈 ;反之 则 偏向 于 
负面 情绪 。 测 试 结果 如 图 11 所 示 ,将 图 像 颜色 特征 增 
强 ,并 以 此 输入 卷 积 网 络 模型 ,该 样 例 为 积极 情感 的 概 
率 为 85.22% ,符合 测试 集 label 。 

如 图 12 所 示 , 强 化 图 像 纹理 特征 ,降低 颜色 空间 ， 
通过 提取 的 纹理 特征 ,判断 出 图 像 的 情感 值 , 样 例 为 积 
极 情感 的 概率 为 84.32% ,符合 label。 

训练 结果 表明 ,通过 改进 的 卷 积 神经 网 络 抽取 图 
像 颜 色 特征 或 纹理 特征 ,判断 出 图 像 的 情感 语义 ,能 取 
得 较 好 的 结果 。 相 对 于 利用 原 VGGNet16 模型 所 进行 
的 情感 特征 抽取 ( 见 表 1) ,改进 后 的 模型 对 情感 语义 
的 判断 能 力 提升 10 个 百分点 。 可 见 , 本 次 算法 的 改进 
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ptrfivy [1] 
Positive: 


Out[313]: 0.8522727835644807 


11 图 像 训 练 结 果 及 其 准确 率 


predict [0] 
negative: 


Out [338]: 0.84318181926553903 


12 图 像 训练 结果 及 其 准确 率 


能 够 有 效 地 提升 图 像 情感 特征 抽取 的 准确 率 。 

将 改进 后 的 模型 运用 到 数据 集中 进行 训练 ,并 验 
证 其 性 能 。 对 图 13 观测 可 知 ,在 0 至 50 次 迭代 中 , 训 
练 集 与 测试 集 的 准确 率 逐 渐 上 升 ;期 间 测试 集 准 确 率 
达到 峰值 ,出 现在 第 20 到 30 次 迭代 中 ,其 准确 率 达到 
65% ;并 能 较为 稳定 地 描述 情感 特征 ,在 60 次 后 出 现 
过 拟 合 , 随 后 训练 集 准确 率 与 测试 集 准确 率 出 现 分 离 
趋势 。 第 50 次 至 100 次 迭代 中 ,训练 集 准确 率 呈 上 升 
趋势 ,而 测试 集 准确 率 呈 下 降 趋 势 ,并 在 57% 准确 率 
附近 稳定 波动 。 这 反映 了 深度 网 络 模型 训练 中 出 现 过 
拟 合 的 情况 。 其 主要 原因 为 数据 样本 较 小 ,训练 误差 
很 小 ,而 泛 化 误差 很 大 ,同时 反映 了 使 用 边缘 特征 分 辩 
图 像 感情 的 不 足 。 

基于 颜色 增强 的 情感 特征 抽取 结果 如 图 14 所 示 : 
在 0 至 80 次 迭代 中 ,训练 集 与 测试 集 准确 率 逐 渐 上 
升 ; 期 间 测试 集 准 确 率 达到 峰值 (76% ) 是 出 现在 第 60 
次 到 79 次 迭代 中 ;此 外 ,测试 集 有 较 高 的 准确 率 
(75% ) ,并 且 在 情感 特征 的 获取 方面 较为 稳定 ,过 拟 
合 情 况 不 明显 。 随 后 训练 集 准 确 率 与 测试 集 准 确 率 出 
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图 13 基于 纹理 增强 的 情感 特征 抽取 结果 


现 逐 渐 分 离 趋势 ,在 第 80 次 至 100 次 迭代 中 ,训练 集 
准确 率 呈 上 升 趋势 ,而 测试 集 准确 率 在 65% 附近 稳定 
波动 ,有 过 拟 合 的 趋势 。 


J 一 train 


一 一 test 
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图 14 基于 颜色 增强 的 情感 特征 抽取 结果 


表 3 


三 
>< 


比较 图 13 和 图 14 两 组 以 不 同方 式 进行 数据 增强 
的 图 像 情 感 特征 抽取 结果 发 现 :在 样本 数量 相同 ,深度 
网 络 模型 一 致 的 情况 下 ,使 用 经 过 减少 颜色 特征 ,增加 
边缘 特征 处 理 后 的 数据 训练 出 的 模型 测试 集 , 其 准确 
率 峰值 更 高 ,稳定 值 也 更 高 。 由 此 进一步 得 知 ,图 像 底 
层 颜 色 \ 纹 理 特征 ,能 够 与 高 层 情感 语义 建立 映射 关 
系 ,并 且 在 这 个 关系 中 ,颜色 特征 对 情感 特征 抽取 展现 
出 更 好 的 感知 力 。 

为 直观 地 观测 实验 结果 ,将 两 种 不 同 的 图 像 处 理 
类 型 的 情感 特征 抽取 结果 进行 了 列表 ,如 表 3 所 示 ,从 
维度 .准确 率 和 训练 结果 评价 三 方面 进行 了 比较 。 

实验 证 明 : 基 于 深度 学 习 的 图 像 情感 特征 抽取 ,能 
够 有 效 地 判定 图 像 的 情感 倾向 ,通过 该 算法 ,能 够 摆脱 
图 像 情感 特征 抽取 的 人 工 干 预 ,充分 利用 图 像 本 身 的 
属性 进行 图 像 情感 的 判定 ,并 且 达 到 了 较为 满意 的 准 
确 率 。 这 种 基于 图 像 情 感 语义 特征 抽取 的 检索 方法 适 
应 性 强 ,可 应 用 于 多 种 领域 :如 人 脸 识别 的 情感 计算 ， 
通过 抽取 人 像 面 部 的 表情 特征 判断 其 所 处 的 情感 状 
态 ” ;通过 分 析 驾 驶 员 的 面部 情感 特征 ,判断 驾驶 过 
程 的 安全 性 等 。 


本 文 是 对 图 像 情 感 语义 特征 抽取 的 有 益 探索 ,在 


改进 的 VGGNet 图 像 情感 检索 模型 的 准确 率 对 比 


数据 集 测试 集 训练 集 
_ 稳 你 处 理 关 型 维度 准确 率 训练 结果 评价 维度 准确 率 训练 结果 评价 
- 忆 ”减少 颜色 特征 ,增加 边缘 特征 4 096 65.35% 较 低 4 096 80.21% 有 效 
回首 加 颜色 特征 ,减少 边缘 特征 4 096 75.2% 有 效 4 096 77.4% 有 效 


分 析 卷 积 神经 网 络 模型 与 传统 的 图 像 特征 抽取 方法 的 
基础 上 ,使 用 了 改进 的 VGGNet 模型 抽取 图 像 的 情感 
特征 ,在 图 像 数 据 集 上 取得 了 80.21% 的 检 准 率 , 相 较 
于 原 模型 ,改进 后 的 模型 在 检 准 率 上 提升 了 10% , 达 
到 了 实验 的 目的 。 此 外 ,通过 优化 网 络 模型 的 参数 设 
置 , 有 助 于 更 有 效 地 抽取 图 像 情感 特征 ,获得 了 较 好 的 
情感 特征 抽取 结果 。 

跨 模 态 检索 是 未 来 信息 检索 领域 的 发 展 方向 ,以 
文字 检索 图 片 是 跨 模 态 领域 最 基本 的 检索 方式 ,而 基 
于 图 像 情感 语义 的 检索 则 是 该 领域 前 沿 性 较 强 的 一 个 
课题 ”“” 。 目 前 ,研究 人 员 已 经 将 情感 语义 检索 运用 
于 图 像 分 类 、 人 脸 识 别 、 表 情 判 断 等 诸多 领域 ”。 本 
文 由 于 实验 过 程 所 搭建 的 开发 平台 受 限于 机 器 配置 ， 
在 卷 积 网 络 模型 中 特征 向 量 的 输出 维度 仅 达 到 4096 


维 。 但 通过 加 深 网 络 , 也 能 达到 预期 的 训练 结果 。 
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Abstract: | Purpose/significance | Image retrieval based on user emotion has become a hotspot in machine learning 


research. However, the corpus data of image sentiment feature annotation is mostly derived from the extraction of low -level 


features of images, which leads to the simplification and stylization of image retrieval process. The algorithm of image emo- 


tion feature extraction based on deep learning fuses the underlying features of the image into the high -level emotion seman- 
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tics of the image, which provides a reference for the emotional semantic retrieval of images. [ Method/process| Using the 
improved convolutional network model, the color and texture of the dataset image were taken as input, the emotion infor- 
mation of the image was automatically extracted by multi-layer operation, and the sentiment retrieval accuracy of the im- 
proved model was calculated though the back propagation algorithm, and an image sentiment feature extraction model with 
high rate and low degree of over -fitting was constructed. [ Result/conclusion | This paper completes the extraction of emo- 
tional features of the image through an improved deep convolutional network model, and improves the retrieval accuracy by 
10%. 


Keywords: deep learning image emotional features extraction convolutional neural network 
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; 2019 年 1 月 18 日 ,2018 -2022 年 教育 部 高 等 学 校 图 书馆 学 专业 教学 指导 委员 会 (以 下 简称 “ 教 指 委 ” ) 成 立会 
: 既 第 一 次 工作 会 议 在 上 海 大 学 举行 。2018 -2022 年 教育 部 高 等 学 校 图 书馆 学 专业 教 指 委 主 任 委员 ,北京 大 学 信息 
1 

|] 

1 

1 


管理 系 王 余 光 教 授 , 副 主任 委员 武汉 大 学 研究 生 院 院 长 陈 传 夫 教授 .南京 大 学 郑 建 明教 授 . 华 中 师范 大 学 副 校长 夏 

~ 立新 教授 、 上 海 大 学 图 书 情报 档案 系 吕 斌 教授 ,秘书 长 北京 大 学 信息 管理 系 党 委 书 记 张 久 珍 教授 ,以 及 来 自 国内 各 

图 书馆 学 专业 教学 单位 的 30 余 名 委员 , 齐 聚 上 海 大 学 ,庆祝 本 届 教 指 委 的 成 立 ,并 对 未 来 五 年 的 工作 进行 规划 安 

上 ) 排 。 上 海 大 学 党 委 常委 , 副 校长 聂 清 出 席 会 议 并 致辞 ,上 海 大 学 教务 处 处 长 彭 章 友 教 授 ,上 海 大 学 图 书 情报 档案 系 
) 主 任 金波 教授 . 系 党 委 书 记 丁 华东 教授 出 席 开 幕 式 ,部 分 专业 教师 代表 列席 会 议 。 


之 成 立 大 会 由 图 书馆 学 专业 教学 指导 委员 会 副 主任 虽 斌 主持 。 上 海 大 学 聂 清 副 校长 在 致辞 中 对 本 届 图 书馆 学 
外 =- 教 指 委 成 立会 于 上 海 大 学 召开 表示 热烈 欢迎 ,向 与 会 专家 介绍 了 上 海 大 学 创建 高 水 平 大 学 的 概况 和 本 科教 育 教学 
党 面 的 主要 举措 ,并 对 本 次 会 议 的 顺利 举行 表达 了 衷心 祝愿 。 教 育 部 图 书馆 学 专业 教 指 委 主 任 委 员 王 余 光 教授 代 
;CJ 表 本 届 教 指 委 向 上 海 每 大 学 及 会 议 具体 承办 单位 上 海 大 学 图 书 情报 档案 系 表达 了 感谢 ,向 各 位 委员 传达 了 教育 部 高 
St 员 会 会 议 讲话 精神 ,并 代表 教育 部 向 2018 -2022 年 教育 部 高 等 学 校 图 书馆 学 专业 教学 指导 
CC\ 六 ey 

委员 会 成 员 颁发 了 聘书 。 


开幕 式 结束 后 ,本 届 教 指 委 第 一 次 工作 会 议 随即 举行 ,会 议 由 夏 立 新 副 主任 主持 。 陈 传 夫 副 主 任 代 表 上 一 届 
指 委 做 了 《上 一 届 教 育 部 高 等 学 校 图 书馆 学 专业 教学 指导 委员 会 工作 总 结 》, 对 图 书馆 学 教 指 委 的 发 展 历程 及 前 
教 指 了 总 结 报告 结束 后 ,按照 教育 部 要 求 , 陈 传 夫 副 主 任 带 领 全 体委 员 共 
全 同学 习 了 《教育 部 高 等 学 校 教 学 指导 委员 会 章程 》, 以 及 由 上 一 届 图 书馆 学 教 指 委 制 定 的 《图 书馆 学 本 科 专 业 教学 
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Et 王 余 光 主 任 对 上 午 会 议 的 相关 情况 进行 了 总 结 ,并 结合 前 三 届 教 指 委 工作 经 验 ,对 本 届 教 指 委 的 
一 主要 职责 进行 了 说 明 。 


下 午 会 议 由 郑 建明 副 主任 主持 。 张 久 珍 秘书 长 向 全 体委 员 传达 了 教育 部 高 等 学 校 教学 指导 委员 会 成 立 大 会 
的 会 议 精神 ,要 求 本 届 教 指 委 要 切实 贯彻 教育 部 “以 本 为 本 ”全 面 振兴 本 科教 育 ” 的 要 求 ,为 “建设 一 流 本 科 、 做 强 
一 流 专业 培养 一 流 人 才 ” 做 出 贡献 。 随 后 她 代表 本 届 教 指 委 汇报 《2018 - 2022 年 教育 部 高 等 学 校 图 书馆 学 专业 教 
学 指导 委员 会 工作 计划 》( 以 下 简称 《工作 计划 》) ,包括 国标 的 贯彻 .宣传 和 培训 ,提升 图 书馆 学 教学 质量 ,图 书馆 
学 课程 建设 ,图 书馆 学 教材 建设 ,图 书馆 学 人 才 培 养 研 究 和 创新 型 人 才 培 养 ,图 书馆 学 师资 建设 等 方面 《工作 计 
划 》 经 委员 会 讨论 通过 ,明确 了 教 指 委 下 一 阶段 的 工作 方向 。 
昌 斌 副 主任 主持 了 随后 的 研讨 环节 ,武汉 大 学 研究 生 院 院 长 陈 传 夫 副 主任 .华中 师范 大 学 副 校长 夏 立 新 副 主 
任 .兰州 大 学 副 校长 沙 勇 忠 委员 .中 国 科 学 院 大 学 初 景 利 委员 .南京 农业 大 学 人 文 社 科 处 处 长 黄 水 清 委 员 、 复 旦 大 
学 图 书馆 副 馆 长 杨 光 辉 委 员 .中 国人 民 大 学 索 传 军 委员 、 东 北 师范 大 学 王 战 林 委 员 等 相继 发 言 ,从 不 同 角度 对 本 届 
教 指 委 工 作 提 出 了 意见 和 建议 。 会 议 讨 论 的 成 果 , 将 在 整理 后 报 送 教 育 部 批准 实施 。 
王 余 光 主 任 最 后 对 本 次 会 议 进行 了 全 面 总 结 , 对 2019 年 第 二 次 工作 会 议 做 出 了 安排 。 会 议 在 热烈 的 气氛 中 完 
成 各 项 议程 ,圆满 闭幕 。 
(2018 - 2022 年 教育 部 高 等 学 校 图 书馆 学 专业 教学 指导 委员 会 委员 名 单 见 第 126 页 ) 
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